main-logo

AWS SUMMIT SEOUL 2024 방문기

생성형 AI와 클라우드 혁신의 현장

profile
강영민
2024년 07월 08일 · 0 분 소요

들어가며

aws_1.jpeg

지난 5월 16일과 17일, 서울 코엑스에서 열린 AWS 서밋 서울 2024에 다녀왔습니다.

제가 참여한 일정은 16일 하루 였으며 당일 진행된 강연들중 참여한 몇개의 세션에 대해서 리뷰 하고자 합니다.

올해로 10주년을 맞이한 이번 서밋은 클라우드와 AI 기술의 최신 동향을 체험할 수 있는 특별한 행사였으며, 수많은 기술 전문가와 비즈니스 리더들이 모여 최신 기술과 비즈니스 혁신에 대한 인사이트를 공유하는 자리였습니다.

AWS 서비스의 종류가 워낙에 방대하고 AI의 영역은 아직 제게 있어서 많이 생소한 부분이라 서비스 명칭 용어 하나하나 모두 설명 드리기 어렵지만 눈여겨 봐야할 부분은 기업들이 AWS 클라우드 서비스와 AI기술을 이용해 어떻게 비지니스의 문제점을 개선하고 혁신을 했는지가 흥미로웠던 부분들 이었습니다.

그중 참여했던 각 강연에서 얻은 인사이트를 공유하고자 합니다.

각 강연의 리뷰에 앞서 이번 서밋의 주요 서비스중 하나로 등장하는 AWS bedrock 서비스에 대해서 설명 드리며 시작하겠습니다.

AWS Bedrock 이란?

aws_2.jpeg

AWS Bedrock는 Amazon Web Services (AWS)가 2023년 4월에 처음 발표하고, 2023년 9월에 일반 공개된 완전 관리형 서비스입니다. Bedrock는 다양한 고성능 기초 모델(foundation models, FMs)을 활용하여 생성형 AI 애플리케이션을 쉽게 개발하고 확장할 수 있도록 설계되었습니다. AI21 Labs, Anthropic, Cohere, Meta, Stability AI, Amazon의 Titan 모델 등 주요 AI 회사의 모델을 제공합니다.

목적 및 주요 기능

Amazon Bedrock의 목적은 조직이 생성형 AI 기술을 보다 쉽게 활용할 수 있도록 하는 것입니다. 주요 기능은 다음과 같습니다:

  1. 모델 선택 및 커스터마이징:
    • Bedrock는 단일 API를 통해 다양한 기초 모델에 접근할 수 있으며, 사용자 요구에 맞는 최적의 모델을 선택할 수 있습니다.
    • 사용자는 자신의 데이터로 이 모델들을 커스터마이징하여 개인화된 사용자 경험을 제공할 수 있습니다. 이러한 커스터마이징은 사용자의 데이터가 원래 모델을 재교육하는 데 사용되지 않도록 보장됩니다 (Amazon Web Services, Inc.) (US About Amazon).
  2. 정보 검색 기반 생성(RAG):
    • Bedrock는 RAG를 지원하여 기초 모델의 응답을 조직의 최신 데이터 소스와 통합하여 보다 정확하고 관련성 높은 응답을 제공합니다. 데이터 수집, 검색, 프롬프트 증강 등 전체 워크플로우를 자동화하여 RAG 기능을 쉽게 구현할 수 있습니다 (US About Amazon).
  3. 관리형 에이전트:
    • Bedrock를 사용하면 복잡한 비즈니스 작업을 수행하는 관리형 에이전트를 쉽게 생성할 수 있습니다. 이 에이전트는 API와 데이터 소스를 호출하여 주문 처리, 광고 캠페인 생성, 재고 관리 등의 작업을 안전하게 수행합니다 (US About Amazon).
  4. 보안 및 규정 준수:
    • Amazon Bedrock는 HIPAA 적격성과 GDPR 준수를 달성하여 규제가 엄격한 산업에서도 사용 가능합니다. 또한 Amazon CloudWatch와 통합되어 사용량을 추적하고, AWS CloudTrail을 통해 API 활동을 모니터링하고 문제를 해결할 수 있습니다 (Amazon Web Services, Inc.) (Amazon Web Services, Inc.).
  5. 서버리스 아키텍처:
    • Bedrock는 서버리스 아키텍처를 사용하여 인프라 관리 없이 생성형 AI 애플리케이션을 개발하고 배포할 수 있습니다. 이는 개발을 간소화하고 운영 오버헤드를 줄여줍니다 (US About Amazon).

사용 사례

Amazon Bedrock는 다양한 생성형 AI 애플리케이션을 지원합니다:

  • 텍스트 생성: 블로그 게시물, 소셜 미디어 업데이트, 웹페이지 카피 등 원본 콘텐츠 생성.
  • 가상 비서: 사용자 요청을 이해하고, 대화를 통해 정보를 수집하며, 요청을 이행하는 비서 구축.
  • 검색 및 개인화: 임베딩 모델을 활용하여 검색 기능을 강화하고 사용자 경험을 개인화 (Amazon Web Services, Inc.).

Amazon Bedrock는 기업들이 생성형 AI를 통해 혁신을 이루고 확장할 수 있도록 지원하는 중요한 도구입니다. 고성능 기초 모델을 제공하고, 사용자 데이터를 활용한 커스터마이징과 보안을 보장하며, 서버리스 아키텍처를 통해 운영을 간소화합니다. AWS는 이를 통해 기업들이 더 나은 비즈니스 성과를 달성하고 고객 경험을 향상시킬 수 있도록 돕고 있습니다.

1.스타벅스 인공지능 챗봇 '더사이렌포탈': 디지털 혁신 여정의 새로운 시작

AWS 서밋 서울 2024에서 가장 흥미로웠던 세션 중 하나는 스타벅스의 내부 직원용 생성형 AI 챗봇인 '더사이렌포탈'에 관한 강연이었습니다.

이 챗봇은 AWS의 다양한 인공지능 서비스(Q, Kendra, Bedrock, SageMaker)를 활용하여 3개월 동안 개발된 프로젝트입니다.

스타벅스는 이 챗봇을 통해 사내 문서 검색, 반복적인 질문 대응, 그리고 실시간 주방 상황 알림 등을 혁신적으로 개선했습니다.

개발 과정 및 도전 과제

챗봇 개발 초기 단계에서 스타벅스 팀은 여러 도전 과제에 직면했습니다. 높은 실패율과 큰 기대치, 전문 인력 부족, 응답 속도 개선의 어려움, 그리고 모델을 만들기 위한 장비 필요 등이 주요 문제였습니다. 특히, 생성형 AI의 부정확성 문제와 응답 속도 이슈는 해결해야 할 중요한 과제였습니다.

AWS 인공지능 서비스의 활용

스타벅스는 AWS의 다양한 인공지능 서비스를 통합하여 챗봇을 개발했습니다. 주요 서비스와 구현 내용은 다음과 같습니다:

  • 인덱스 파이프라인: 사내 문서를 수집하여 검색 가능한 인덱스로 변환하고, 이를 통해 필요한 정보를 신속하게 찾을 수 있도록 했습니다. 사내 규정, FAQ 데이터들을 AWS의 Steps Function으로 직렬화하여 처리했습니다.
  • 검색 증강: 인덱스에서 검색된 정보를 프롬프트에 삽입하여 정확한 응답을 제공했습니다.
  • 평가 파이프라인: 사람이 평가하기 보다는 객관적으로 평가하여 품질을 향상시키는 시스템을 도입했습니다.
  • 어플리케이션 스택: 사용자 질의는 어플리케이션을 통해 처리되며, 인덱스 조회, 검색 증강, 파운데이션 모델을 통해 응답이 이루어졌습니다. 기술 스택으로는 React와 FastAPI, EKS가 사용되었습니다.

챗봇의 주요 기능 및 성과

챗봇의 주요 기능은 다음과 같았습니다

  • 고객 혼잡도 히트맵: 고객 밀집도를 시각화하여 혼잡도를 파악하고, 주방 상황을 실시간으로 알림으로써 효율적인 관리가 가능하게 했습니다.
  • 문서 검색 및 응답 속도 개선: Chain 방식과 Agent 방식을 활용하여 10초 이내의 빠른 응답을 구현했습니다.
  • 평가 프로세스: 질문과 답변 평가를 위한 별도 프로세스를 마련하여 정확성을 높였습니다.
  • 데이터 관리: DynamoDB를 활용하여 Key-Value 기반으로 챗봇 채팅 데이터를 관리했습니다.

결과 및 향후 계획

이 챗봇은 내부 직원들의 정보 접근성을 크게 향상시켰으며, 반복적인 문의 대응 시간을 줄여 업무 효율성을 높였습니다. 또한, 신입사원 가이드북을 챗봇으로 대체함으로써 회사 문화에도 긍정적인 변화를 가져왔습니다.

앞으로 스타벅스는 챗봇의 성능을 더욱 개선하고, 새로운 기능을 추가하여 디지털 혁신을 지속할 계획이라고 합니다.

AWS 서밋 서울 2024에서 소개된 스타벅스의 '더사이렌포탈' 프로젝트는 생성형 AI와 클라우드 기술이 비즈니스에 어떻게 적용될 수 있는지를 잘 보여주는 사례였습니다. 이를 통해 스타벅스는 내부 업무 효율성을 극대화하고, 결과적으로 직원들에게 더 나은 업무 환경을 제공할 수 있었습니다.

2.GS리테일의 Amazon EKS를 통한 무중단 운영 및 배포: 클라우드 혁신의 실제 사례

aws_3.jpeg

해당 세션은 이번 AWS 서밋의 큰틀인 AI와의 직접적인 관련은 없었지만 평소 관심이 있는 분야라 흥미롭게 들었습니다. 세션은 GS리테일의 Amazon EKS(Elastic Kubernetes Service)를 활용한 무중단 운영 및 배포 전략에 관한 강연이었습니다.

이 세션은 클라우드 기반의 혁신적인 운영 방식을 통해 GS리테일이 어떻게 안정성과 가용성을 극대화했는지에 대해 깊이 있는 통찰을 제공했습니다.

GS리테일의 도전 과제

GS리테일은 애플리케이션의 안정성과 가용성을 유지하는 동시에 운영 효율성을 높이기 위해 다양한 도전에 직면했습니다. 마이크로서비스 아키텍처를 도입함으로써 서비스 간의 의존성을 최소화하고, 배포 과정에서의 다운타임을 거의 없앴습니다. 그러나, 여전히 운영 중 발생할 수 있는 다양한 문제와 복잡한 배포 환경을 효율적으로 관리하는 데 어려움도 있다고 발표하고 있었습니다.

Amazon EKS의 활용

GS리테일은 Amazon EKS를 활용하여 클라우드 기반의 무중단 운영 및 배포를 실현했습니다. 주요 구현 내용은 다음과 같습니다:

  • CI/CD 파이프라인 구축: 지속적인 통합 및 배포를 위한 파이프라인을 구축하여 무중단 운영을 실현했습니다. 이를 통해 배포 과정에서의 다운타임을 최소화하고, 서비스 가용성을 극대화할 수 있었습니다.

  • GitOps를 통한 프로젝트 관리: Git 기반의 운영 방식을 도입하여 클러스터와 애드온 관리, 팀 관리 및 설정 관리 등 운영의 모든 측면을 자동화했습니다. 이를 통해 운영의 일관성과 효율성을 높였습니다.

  • 멀티 클러스터 전략: 싱글 클러스터의 단점을 극복하기 위해 멀티 클러스터 구조를 도입했습니다. 이로 인해 서비스 간의 상호 영향력을 줄이고, 클러스터 업데이트 시 발생할 수 있는 문제를 효과적으로 해결했습니다.

  • 테라폼 사용의 한계 극복: 테라폼 사용의 한계를 인식하고, 쿠버네티스 매니페스트 파일의 형상 관리를 개선하여 운영 환경의 복잡성을 줄였습니다.

주요 기능 및 성과

Amazon EKS를 활용한 주요 기능과 성과는 다음과 같습니다:

  • 자동화된 배포 및 운영: 지속적인 통합 및 배포(CI/CD) 파이프라인을 통해 애플리케이션 배포를 자동화하고, 운영 중단 없이 새로운 기능을 지속적으로 제공할 수 있게 되었습니다.

  • 클러스터 관리 및 업데이트: 클러스터를 지속적으로 관리하고, 업데이트 과정에서 발생할 수 있는 서비스 중단을 최소화하기 위해 새로운 클러스터를 생성하고, 엔드포인트를 수정하는 방식으로 문제를 해결했습니다.

  • 로드 밸런서 관리: 로드 밸런서를 통해 트래픽을 관리하고, 가중치를 조정하여 두 개의 서비스를 업데이트하는 방식을 도입하여 무중단 배포를 실현했습니다.

결과 및 향후 계획

GS리테일은 Amazon EKS를 통해 운영 효율성을 크게 향상시켰으며, 무중단 운영을 통해 고객 경험을 개선할 수 있었습니다. 특히, 클러스터 관리와 배포 자동화 측면에서 많은 성과를 거두었습니다.

향후 GS리테일은 이러한 클라우드 기반의 운영 방식을 더욱 발전시켜, 지속적인 혁신을 추구할 계획입니다. 특히, 개발팀과 인프라팀 간의 협업을 강화하고, 쿠버네티스 매니페스트 파일의 형상 관리를 개선하여 효율적인 운영을 도모할 것이라 말하며 발표를 마쳤습니다.

3.생성형 AI 시대의 고객 데이터 플랫폼 구축 전략

해당 세션은 '생성형 AI 시대의 고객 데이터 플랫폼 구축 전략'에 관한 것이었습니다. 이 세션에서는 AWS의 다양한 데이터 관리 서비스와 인공지능 도구를 활용하여 방대한 고객 데이터를 효과적으로 관리하고 분석하는 방법에 대해 논의되었습니다. 여기에서는 주요 내용과 구현 방법을 자세히 살펴보겠습니다.

주요 내용 및 전략

생성형 AI 기술을 활용한 고객 데이터 플랫폼 구축 전략은 다음과 같은 주요 내용으로 구성되었습니다:

  1. 데이터 통합 및 분석:
    • Amazon Redshift와 AWS Glue를 사용하여 다양한 데이터 소스를 통합하고 분석합니다. Redshift는 데이터 웨어하우징 서비스로, 빠르고 효율적인 데이터 쿼리와 분석을 지원합니다. Glue는 완전 관리형 ETL 서비스로, 데이터를 추출, 변환, 적재하는 데 사용됩니다.
    • 이를 통해 기업은 고객 행동 데이터를 기반으로 한 인사이트를 도출할 수 있습니다. 예를 들어, 고객의 구매 패턴, 선호도 등을 분석하여 더 나은 비즈니스 결정을 내릴 수 있습니다.
  2. 실시간 데이터 시각화:
    • Amazon QuickSight를 활용하여 데이터를 실시간으로 시각화합니다. QuickSight는 클라우드 기반의 비즈니스 인텔리전스(BI) 서비스로, 다양한 데이터 소스에서 데이터를 시각화하고 대시보드를 생성하는 데 사용됩니다.
    • 이를 통해 빠르고 정확한 의사결정을 지원할 수 있으며, 실시간으로 변화하는 데이터 트렌드를 모니터링할 수 있습니다.
  3. 개인화된 마케팅 전략:
    • 고객의 행동 데이터를 분석하여 개인화된 마케팅 캠페인을 수립하고 운영합니다. 예를 들어, 특정 고객 세그먼트를 타겟으로 한 맞춤형 프로모션을 실행할 수 있습니다.
    • 이를 통해 고객 만족도를 높이고, 고객 충성도를 강화할 수 있습니다. 생성형 AI를 통해 이러한 캠페인의 효율성을 극대화할 수 있습니다.

클라우드 기반 데이터 플랫폼의 이점

AWS의 클라우드 기반 데이터 플랫폼은 여러 가지 이점을 제공합니다:

  • 확장성: 데이터의 양이 증가함에 따라 자동으로 확장되며, 높은 트래픽을 효율적으로 처리할 수 있습니다.
  • 비용 효율성: 필요한 리소스만 사용하므로 비용을 절감할 수 있습니다.
  • 유연성: 다양한 데이터 소스와 쉽게 통합할 수 있으며, 실시간 분석 및 시각화가 가능합니다.
  • 안정성: 고가용성과 높은 안정성을 보장하여 중요한 비즈니스 데이터를 안전하게 관리할 수 있습니다.

마치며

이번 AWS 서밋 서울 2024는 기술적 인사이트와 네트워킹 기회를 제공하는 풍성한 행사였습니다.

이번 AWS 서울 서밋은 생성형 AI와 클라우드 기술이기업 비즈니스에 어떻게 적용되고 있는지, 그리고 앞으로 어떤 가능성을 열어줄지에 대해 사용자 및 개발자들에게 기대하게 만들어 주었던 자리였던것 같습니다. AWS 서밋 서울 2024는 기술과 비즈니스의 향후를 바라 볼수있고, 많은 인사이트를 얻을 수 있는 유익한 자리였습니다. 

읽어주셔서 감사합니다.